در کل پنج فرمان اصلی در پوشه robots.txt وجود داراست آموزش سئو در مشهد که درپی با آنان آشنا خواهید شد:
فرمان user-agent
فرمان user-agent به تنهایی نمیتواند یک امر بدون نقص باشد، بلکه بایستی در کنار یک کدام از سه فرمان بعدی مصرف شود. این امر نوع رباتی که می بایست از امرها بعدی اطاعت نماید را مشخص و معلوم مینماید.
مثلا در حالتی که قصد داشته باشید برای رباتهای گوگل دستوری صادر فرمائید، اسم رباتهای گوگل (googlebot) را مینویسید. هماینگونه درصورتی که امر برای مجموع رباتهاست می بایست در مقابل user-agent: از آرم ستاره (*) مصرف شود.
امر disallow
پس از اینکه رباتهای موردنظر معلوم شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. امر disallow در معنای «اذن ندادن» میباشد. به این ترتیب طبعاً بایستی صفحاتی را که ربات ذکر شده نباید کرول نماید (بخزد) را در مقابل آن نوشت. دقت داشته باشید که روت دامین نباید نوشته خواهد شد و تنها بعداز اسلش را بنویسید. نکته دیگر اینکه، در حالتی که قصد دارید تعدادی برگه را disallow فرمائید، بایستی یکسری فرمان disallow بنویسید. به نمونه پایین اعتنا فرمائید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*
فرمان allow
امر allow در معنای اذن دادن میباشد و همان گونه که پیش گویی میزنید به رباتهای معینگردیده اذن می دهد صفحاتی را که در مقابل این امر نوشته می گردند بخزند.
اما تایپ کردن این فرمان ضرورتی ندارد؛ چراکه رباتها به طور پیشفرض تک تک صفحه های وبسایت را میخزند. با این حالا بعضا وبمستران برای تأکید بر بعضا صفحه ها سایتشان، از امر allow به کار گیری مینمایند. شیوه به کار گیری از فرمان allow نیز دقیقاً مانند امر disallow میباشد.
امر crawl-delay
این فرمان قادر است بر سرعت بار گذاری صفحه ها سایتتان اثر بگذارد. بدین ترتیب سرعت تارنما به جهت ورود خیلعظیم خزندهها کاهش پیدا نمینماید. شما میتوانید عددی را در مقابل این فرمان تایپ فرمائید. این عدد نشانه می دهد که رباتهای رقم خورده بایستی به آن مقدار ثانیه حوصله کرده و بعد از آن تارنما را بخزند. ولی اعتنا داشته باشید کهاین امر برای رباتهای گوگل اثر ندارد.
امر sitemap
در مقابل این فرمان بایستی نشانی وب سایت مپ را وارد نمایید. این فرمان نیازی به فرمان user-agent ندارد.
بیشتر بخوانید: ریدایرکت چه میباشد؟ | با گونه های redirect ها آشنا گردید
امرها قابل پشتیبانی در فولدر robots.txt
یک پوشه Robots.txt می بایست دربردارنده چه چیزی باشد؟
معمولاً درین پوشه، در شرایطی که وب سایت وردپرسی باشد، صفحه ها /wp-admin/ و /readme.html/ که دربردارنده داده ها ورژن وردپرس شماست و هماینگونه کاغذ پلاگینها /plugins/ می بایست disallow شوند. هماینگونه نشانی sitemap را دراین فولدر تمجید مینمایند تا خزندههای گوگل رده صفحه ها متفاوت وب سایت را پیدا نمایند. موردها گفتهگردیده از ضروریات ایجاد کرد یک فولدر robots میباشد؛ البته شما می توانید سازه بر نیاز خویش هر فایلی که گرایش دارید را disallow کرده و یا این که برای تأکید پوشههای ضروری را allow نمائید.
آموزش سئو در مشهد...
ما را در سایت آموزش سئو در مشهد دنبال می کنید
برچسب : آموزش سئو در مشهد, نویسنده : mohammadsrc seotraininginmashhad بازدید : 99 تاريخ : پنجشنبه 5 اسفند 1400 ساعت: 14:03